#Triton kernel

2 篇

Attention Quantization for Tabular Foundation Models

表格基础模型的注意力FP8量化

🧭 表格基础模型推理优化 · FP8注意力量化

Prior Labs

开发FP8量化QKV的注意力Triton内核，通过训练/测试量化误差对齐实现1.7倍加速且精度无损

📌 工作参考价值（4 点）

如果业务里用了类似 TabPFN 的 tabular transformer 做点击率、LTV、风控等表格数据建模，推理优化重点应放在 attention 计算上，而不是像 LLM 那样优先做 weight 或 KV cache 量化；QKV 直接量化到 FP8 并用显式 FP8 matmul，可以在注意力热点上拿到 1.5-1.7x 加速。
关键实现 trick：训练和推理时对行（row）的量化误差必须对齐，否则精度会急剧下降。迁移到推荐/广告场景时，如果表格模型在训练和线上服务的数据分布或预处理不同，需要把量化校准纳入训练管线，保证一致性。
动态开启量化内核的策略值得借鉴：在训练行数超过 8192 时才启用 FP8 attention kernel，短序列时用基线 kernel，避免小 batch/短序列下量化开销反而拉低吞吐。
工程上用 Triton kernel 可以针对 attention 做轻量级量化优化，无需重新训练模型；在表格特征建模或 in-context tabular learning 的推理服务中，可以将 FP8 attention 作为无精度损失的加速开关，降低线上延迟和成本。

Other | 2026-09-11 | cs.LG | score 6/10

简单注意力稀疏化：端到端优化上下文排序

🧭 LLM 注意力稀疏化 · 端到端排序

Tencent HY LLM Frontier · Hong Kong University of Science and Technology (Guangzhou) · Hong Kong University of Science and Technology

用连续 selector 分数以 log 形式注入 attention softmax，端到端优化上下文排序，紧预算下大幅超过可训练稀疏注意力基线

📌 工作参考价值（4 点）

需为长上下文/Agent 记忆做注意力稀疏化时，不要蒸馏 dense attention：把可训练 selector 的连续分数以 log 形式塞进 attention softmax，用最终 LM loss 端到端更新，排序会更对齐固定预算下的下游效果；推理阶段仍可硬 Top-K。
在流式/历史 context 场景（如用户长期行为序列、会话历史）保留 current block 并用 normalized softmax gate 校准历史窗口，可避免新 block 被旧 context 淹没，适合电商推荐/广告文案生成里的长 prompt 组织。
训练阶段保留连续 selector score 而非 hard selection，让模型学相对优先级；上线做硬稀疏时可显著提升紧预算下的性能，降低推理 KV cache/attention 成本。
开源的 Triton/FlashAttention 融合 kernel 可作为长上下文稀疏训练底座，直接复用到商品描述、用户会话等长文本微调。

Training | 2026-09-10 | HF Daily | score 7/10